home *** CD-ROM | disk | FTP | other *** search
/ EnigmA Amiga Run 1995 November / EnigmA AMIGA RUN 02 (1995)(G.R. Edizioni)(IT)[!][issue 1995-11][Skylink CD].iso / earcd / docs / announc5.lha / 1000 / 1041.edit < prev    next >
Internet Message Format  |  1995-01-28  |  4KB
  1. From: JamesB@werple.mira.net.au (James Burton)
  2. Newsgroups: comp.sys.amiga.announce
  3. Path: toadflax.cs!not-for-mail
  4. Subject: GetURL 1.0 Web page downloader available for FTP
  5. Reply-To: JamesB@werple.mira.net.au
  6. Followup-To: comp.sys.amiga.networking
  7. Organization: Melbourne ArtWorks
  8. Message-Number: 1041
  9. Approved: zerkle@cs.ucdavis.edu
  10.  
  11.  
  12. TITLE          
  13.  
  14.     GetURL.rexx
  15.     
  16. VERSION
  17.  
  18.     1.0
  19.     
  20. AUTHOR
  21.  
  22.     James Burton
  23.     
  24.     c/o 
  25.     Department of Computer Science & Computer Engineering
  26.     Latrobe University
  27.     Bundoora, Victoria, 3083
  28.     Australia
  29.  
  30.     EMail:  burton@cs.latrobe.edu.au
  31.     Web:    http://www.cs.latrobe.edu.au/~burton/
  32.     
  33. DESCRIPTION
  34.  
  35.     -- Script to download HTML systems across the network --
  36.  
  37.     GetURL.rexx is an ARexx script which will download World-Wide Web pages.
  38.     With a simple command line it will download a specific page, and with
  39.     more complex command lines it will be able to download specific sets of
  40.     documents.
  41.     
  42.     The intention was to create a tool that allowed local caching of important
  43.     Web pages and a flexible way of specifying what pages are important. The
  44.     script has no GUI as of yet but may have at some stage in the future.
  45.     
  46.     If you have ever tried to download and save to disc a 200 page document
  47.     using Mosaic, then you know what this script is for. Mosaic will only
  48.     let you load a page, then load it to disc, then load another page etc.
  49.     This is a very frustrating process. GetURL automates this process and
  50.     will run in batch mode without user intervention.
  51.     
  52.     The major features of GetURL.rexx are as follows:
  53.     
  54.     * doesn't require AMosaic, you you can be browsing something else
  55.         with AMosaic whilst this is running
  56.         
  57.     * save pages to your hard disc so that they can be read offline and
  58.         you can also give them to friends on a floppy disc. Who know, 
  59.         you may even be able to sell discs containing web pages :-)
  60.  
  61.     * flexible set of command line switches that allow you to restrict the 
  62.         type of pages that it downloads
  63.     
  64.     * ability to specify files for the lists of URLs that it keeps so
  65.         that any search for pages can be stopped and restarted at a later
  66.         date. i.e. you could run GetURL for 2 hours a day whilst you are
  67.         online and gradually download everything in the entire universe
  68.         and it won't repeat itself.
  69.         
  70.     * ability to download itself when there are new versions.
  71.     
  72.     * will use a proxy if you have access to one, in order to both speed up
  73.         access to pages and also to reduce network load.
  74.         
  75.     * will download binary files (*.gif, *.lha) as easily as text and html
  76.         files.
  77.         
  78.     * documentation is in the top of the script file.
  79.         
  80. SPECIAL REQUIREMENTS
  81.  
  82.     * Until somebody writes a TCP: device for the AS225 TCP/IP protocol
  83.         stack unfortunately this script will require AmiTCP.
  84.  
  85.     * requires the TCP: device be mounted
  86.     
  87.     * either restraint, or an extremely large hard disc - your choice :-)
  88.     
  89.     * This script is no use at all unless you have AmiTCP set up and running.
  90.       If you don't know what this means then please ask me
  91.       (burton@cs.latrobe.edu.au).
  92.     
  93. LOCATION
  94.  
  95.     This script is available via
  96.     
  97.     Anonymous FTP to AmiNet
  98.         wuarchive.wustl.edu (128.252.135.4)
  99.         /pub/aminet/comm/tcp/GetURL-1.0.rexx
  100.         
  101.         and all of it's mirrors. Please check the closest mirror FIRST.
  102.         
  103.     HTTP from my university account
  104.         http://www.cs.latrobe.edu.au/~burton/Public/GetURL.rexx
  105.         (this URL will always point to the newest version)
  106.         
  107. FILE NAMES
  108.  
  109.     GetURL-1.0.rexx            41770 Bytes
  110.     GetURL-1.0.readme           3874 Bytes
  111.     
  112. PRICE
  113.     
  114.     Absolutely free to humans
  115.     
  116. DISTRIBUTABILITY
  117.     
  118.     Public domain. But so that a hundred different versions of this don't 
  119.     appear, please send corrections, new features, bug fixes etc. to me
  120.     and I will coordinate.
  121.                           
  122. -- 
  123. James Burton                                    | 
  124. EMail: JamesB@werple.mira.net.au                | Latrobe University
  125. WWW  : http://www.cs.latrobe.edu.au/~burton/    | Melbourne, Australia
  126.  
  127.